Unsere Empfehlung für Sie: Präferenzen und Personalisierung in der Informatik

نویسندگان

  • Markus Endres
  • Andreas Pfandler
چکیده

Präferenzen spielen im Alltag jedes Menschen eine groûe Rolle. Einfache Präferenzen wie z.B. ” Zum Frühstück mag ich lieber Kaffee als Tee, Schokocroissants sind besser als ein Käsebrota oder ” Eine Unterkunft in einem 4-Sterne Hotel in der Nähe der Konferenz ist mir wichtiger als eine möglichst günstige Übernachtunga sind uns allen bekannt. Häu®g müssen wir uns zwischen unzähligen verschiedenen Alternativen entscheiden. Systeme, die unsere Präferenzen, also die Benutzerwünsche, einbeziehen, helfen die bestmöglichen Entscheidungen zu treffen. Das Tutorium behandelt verschiedene Aspekte der Modellierung und Verarbeitung von Präferenzen in den Bereichen Datenbanken & Informationssysteme sowie Künstliche Intelligenz. Die Vorstellung von konkreten Einsatzgebieten und Anwendungen von Präferenzen sowie die Darstellung von Risiken, Chancen und Herausforderungen im Umgang mit Personalisierung runden das Tutorium ab. 1 Präferenzen in der Informatik In der Informatik gewinnen Präferenzen immer mehr an Bedeutung. So haben Präferenzen seit langem Einzug bei Touristikportalen oder Firmen wie Amazon, Google und Facebook gehalten, um personalisierte Produktempfehlungen vorzunehmen. Dabei zeigt sich, dass Kunden sehr viel mehr Wert als früher auf personalisierten Kundenservice anstelle von Standardprodukten legen. Eine Zusammenstellung einer Reise zum Beispiel, einschlieûlich Flug, Mietwagen, Hotelreservierung, Veranstaltungen und Exkursionen kann nicht mehr als Pauschalangebot verkauft werden, sondern erfordert immer mehr die individuelle Anpassung an die Wünsche der Kunden. Die Bedürfnisse der Benutzer spielen heutzutage insbesondere im Marketing eine bedeutende Rolle. Marketing-Lösungen, die komplett auf den Benutzer zugeschnitten sind, setzen sich durch. Das Stichwort lautet Personalisierung. Aus psychologischer Sicht bevorzugt der Mensch personalisierte Informationen, da er sich damit wertgeschätzt fühlt und Sympathie für sein ” Gegenübera emp®ndet. Durch personalisierte Informationen und die auf uns maûgeschneiderten Botschaften entwickelt man unbewusst auch ein Gefühl der Sicherheit. Zudem heben sich personalisierte Nachrichten von dem heutzutage herrschenden Überangebot von Informationen ab. Auch wenn dieser Prozess unbewusst statt®ndet, ist er enorm ein ̄ussreich und überzeugt ganz unterschwellig. So ist z.B. eine personalisierte E-Mail, in der man mit dem Vornamen angesprochen wird und die einen an die eigenen Interessen angepassten Inhalt hat, zugänglicher. Insbesondere nimmt man sich z.B. mehr Zeit Werbeinformationen zu sichten, wenn der Inhalt den eigenen Interessen entspricht. Dieser Effekt kehrt sich jedoch um, wenn bei der Personalisierung 1 Universität Augsburg, Universitätsstr. 6a, D 86159 Augsburg, [email protected] 2 Technische Universität Wien, Favoritenstr. 9, A 1040 Wien und Universität Siegen, Unteres Schloû 3, D 57072 Siegen, [email protected] 1928 Markus Endres und Andreas Pfandler Fehler unterlaufen: Etwa wenn ein Zelt auf einem Campingplatz einem Geschäftskunden als Tagungsraum empfohlen wird oder wenn sich der Benutzer ” bespitzelta fühlt. Es wird klar, dass es sich bei der Personalisierung und der Verarbeitung von Präferenzen um komplexe Aufgaben handelt, die offensichtlich Fingerspitzengefühl erfordern. Ein besonders positiver Eindruck entsteht wiederum, wenn präferierte Alternativen angeboten werden, die der Benutzer nicht bedacht hat, wie etwa günstigere Flugverbindungen zu einem nahe gelegenen anderen Flughafen. Personalisierte Inhalte können somit einen positiven Effekt auf die Marketing-Ef®zienz haben, da nicht relevante Inhalte aufgrund der vorliegenden Informations ̄ut ohnehin oft nicht beachtet werden. Wie oben bereits angedeutet, bedeutet Personalisierung aber nicht nur persönliche Daten in Dokumenten zu nutzen, sondern auch die Präferenzen der Benutzer bei Produktempfehlungen oder bei der Produktsuche zu berücksichtigen. Während bei der erstgenannten Art der Personalisierung meist nur die nüchternen Daten verwendet werden, benötigt die zweitgenannte Art Wissen über die Präferenzen und Methoden, um die richtigen Schlüsse daraus zu ziehen. Damit erhalten Benutzer z.B. bei der Produktsuche auf sie zugeschnittene Antworten und können unter verschiedenen bestmöglichen Alternativen auswählen. Letztendlich pro®tieren also nicht nur Unternehmen von personalisierten Inhalten, sondern auch die Kunden selbst. Eine weitere wichtige Bedeutung haben Präferenzen bei der gemeinsamen Entscheidungs®ndung etwa innerhalb einer Gruppe oder eines Freundeskreises. Hierbei ist es das Ziel eine Lösung zu ®nden, welche die Bedürfnisse bzw. Präferenzen der einzelnen beteiligten Personen berücksichtigt und dabei gleichzeitig möglichst fair ist. Ein einfaches Beispiel ist etwa das Finden eines Lokals für ein gemeinsames Mittagessen. Hier geben die Teilnehmer nicht nur an, wann sie Zeit haben, sondern teilen auch ihre Präferenzen bezüglich des Lokals mit. Gesucht ist dann das ” passendstea Lokal. Eine weitere wichtige Frage ist, wie man (komplexe) bedingte Präferenzen behandelt, bei denen die einzelnen Entscheidungsmöglichkeiten nicht unabhängig voneinander sind. So könnte zum Beispiel bei der Frühstücksplanung Tee nur dann Kaffee vorgezogen werden, wenn es ein Käsebrot zum Frühstück gibt, ansonsten ist Kaffee die erste Wahl. Dem Motto der INFORMATIK 2016 ” Informatik von Menschen für Menschena folgend, werden im Rahmen dieses Tutoriums Methoden vorgestellt, um Informationssysteme der Zukunft zu schaffen, die Präferenzverarbeitung als ein zentrales Konzept der Personalisierung ansehen. Im Folgenden werden wir einen knappen Überblick über die Grundlagen, aktuelle Forschung und praktische Anwendungen von Präferenzen in Datenbankanfragen sowie im Bereich der Künstlichen Intelligenz geben. 2 Präferenzen in Datenbankanfragen Im ersten Teil des Tutoriums werden wir Präferenzen innerhalb von Datenbanksystemen behandeln, da immer mehr Datenbankhersteller die Verarbeitung von Präferenzen als ein zentrales Konzept der Personalisierung ansehen. So existieren neben den rein akademischen Prototypen wie z.B. FlexPref [LMK10] oder Preference SQL [KEW11] auch kommerzielle Präferenzen und Personalisierung in der Informatik 1929 Abbildung 1: Screenshot einer präferenzbasierten Hotel-Suche in Istanbul [We12]. Systeme wie etwa das Skyline Feature in EXASolution [Ma15]. Dass es sich hierbei nicht nur um eine Spielwiese für Wissenschaftler handelt, zeigt das Szenario der Suche nach einem Hotel in einer Stadt, z.B. in Istanbul. Aufgrund der enormen Anzahl von Hotels aller Kategorien in dieser Stadt stellt die Kenntnis der Benutzerwünsche in dieser Anfrage eine groûe Hilfe dar, um irrelevante Hotels aus dem Datensatz auszublenden und den Fokus ausschlieûlich auf die relevanten Hotels zu legen. Präferenzen agieren als Filter, welche nur die relevanten Antworten bezüglich der Benutzerpräferenzen liefern. Abbildung 1 demonstriert solch eine personalisierte ortsbasierte Hotel-Suche, die es einzelnen Benutzern oder Benutzergruppen erlaubt, Hotels in Istanbul zu ®nden, wobei sowohl harte Kriterien als auch Benutzerwünsche berücksichtigt werden (vgl. [We12]). So lässt sich nicht nur die Hotel-Kategorie als hartes oder weiches Kriterium spezi®zieren, sondern auch die Präferenz bezüglich der Art der Unterkunft oder der Verfügbarkeit von WLAN. Die präferierten Stadtteile können nun etwa als weiches Kriterium formuliert werden, welches (sofern möglich) erfüllt sein sollte. Die Applikation unterstützt sowohl räumliche, numerische und kategorielle als auch komplexe Präferenzanfragen auf eine intuitive Art und Weise, sodass das Ergebnis bestmöglich den Benutzerwünschen entspricht. Die Verwendung von Präferenzen in Datenbankanfragen wirft allerdings viele komplexe Fragestellungen auf, etwa bzgl. der Darstellung/Modellierung, Auswertung, Sprache, etc., vgl. [SKP11]. Bereits im Jahre 1987 haben Lacroix und Lavency [LL87] sich diese Fragen gestellt und noch heute beschäftigen sich Wissenschaftler auf der ganzen Welt mit diesem Thema. Kieûling und andere haben mit ” Preference SQLa [KEW11] eine Methode zur Repräsentation von Präferenzen in SQL entwickelt. Die Grundlage bilden Striktordnungen (irre ̄exiv, transitiv, antisymmetrisch), z.B. ” Eine Unterkunft im Stadtteil Fatih in Istanbul ist mir wichtiger als ein 4-Sterne Hotela, welche durch Präferenz-Konstruktoren gebildet werden 3 Web-Applikation zu ®nden unter http://www.dbis.informatik.uni-augsburg.de/hotelfinder/ 1930 Markus Endres und Andreas Pfandler können. Um Präferenzen in Preference SQL spezi®zieren zu können, wurde die Syntax des SQL-Select-Statements um die PREFERRING-Klausel erweitert. Preference SQL folgt der ” Best Matches Onlya-Semantik: Das Ergebnis beinhaltet ausschlieûlich die besten Treffer bezüglich der gegebenen Präferenzen. Abbildung 2 zeigt eine einfache Preference SQL Anfrage, bei der die ortsbasierte Präferenz durch eine Priorisierung (PRIOR TO) mit dem Wunsch nach einem 4-Sterne Hotel verknüpft wird. Dabei wird der Stadtteil Fatih durch einen KML-String festgelegt, welcher erfüllt sein sollte. SELECT * FROM accommodation -Unterk ünfte in Istanbul PREFERRING -Präferenz -Query location WITHIN ’’ -Ortsbasierte Suche PRIOR TO -Priorisierung category = ’4*’ AND type = ’Hotel’; -Pareto -Präferenz Abbildung 2: Preference SQL Anfrage: Eine Unterkunft im Stadtteil Fatih (KML-String) ist wichtiger als ein 4-Sterne Hotel. Die Firma EXASOL AG setzt diesen Ansatz in ihrem kommerziellen Datenbanksystem EXASolution um [Ma15]. Auûerdem existiert ein präferenzbasiertes Empfehlungssystem auf Grundlage von Preference SQL [SEK06]. Die in Preference SQL vorhandene ” Pareto-Präferenza, bei der verschiedene Attribute als gleich wichtig erachtet werden, ist auch als ” Skyline Operatora [BKS01] bekannt. Chomicki stellt Präferenzen durch logische Ausdrücke dar. Auch in diesem Ansatz werden Präferenzen als Striktordnungen modelliert und zur personalisierten Ergebnis®lterung benutzt. Chomicki’s ” Winnow-Operatora folgt der gleichen Semantik wie ” Best Matches Onlya und ” Skylinea. Für diese Operatoren existierten zahlreiche Auswertungsalgorithmen, die für (parallele und verteilte) Datenbanksysteme optimiert wurden [CCM13]. Boutilier, Brafman und Domshlak [Bo03] repräsentieren Ordnungen als CP-Netze. Hierbei wird die ” Ceteris Paribusa-Semantik verwendet, mit welcher bedingte Präferenzen spezi®ziert werden können. So könnte zum Frühstück Tee nur dann Kaffee vorgezogen werden, wenn es ein Käsebrot zum Frühstück gibt, ansonsten ist Kaffee die erste Wahl. Neben den bereits vorgestellten qualitativen Ansätzen der Präferenzrepräsentation existieren auch quantitative Präferenzen in Datenbankanfragen, vgl. z.B. [HKP01]. In PREFER [HKP01] werden quantitative Präferenzen durch Gewichtung der Attribute festgelegt. Anschlieûend wird eine gewichtete Aggregatsfunktion verwendet, um einen Score für jedes Tupel zu berechnen. Je höher der Score ist, umso besser ist ein Tupel. Die Verarbeitung und Verwaltung von Präferenzanfragen in Datenbanken ist im letzten Jahrzehnt zu einer ernstzunehmenden und wichtigen Herausforderung geworden. Im ersten Teil des Tutoriums werden wir deshalb verschiedene Ansätze der Präferenzmodellierung in Datenbanksystemen sowie ihre Vorund Nachteile im Detail besprechen. 4 Keyhole Markup Language (KML) ist eine Auszeichnungssprache zur Beschreibung von Geodaten. 5 http://www.exasol.com/ Präferenzen und Personalisierung in der Informatik 1931 3 Präferenzen in der Künstlichen Intelligenz Im zweiten Teil des Tutoriums werden aktuelle Forschungsthemen (sowie die benötigten Grundlagen) aus Teilbereichen der Künstlichen Intelligenz ± insbesondere aus dem Gebiet der Computational Social Choice ± behandelt. Eine einfache Möglichkeit, um Präferenzen über einer Menge von Alternativen bzw. Kandidaten anzugeben, ist mittels einer totalen Ordnung. Die Präferenzen dreier Kollegen bezüglich des Lokals für ein gemeinsames Mittagessen könnten wie folgt lauten: Anna: Schnitzel ≻ Pizza ≻ Sushi Berta: Schnitzel ≻ Sushi ≻ Pizza Christoph: Sushi ≻ Pizza ≻ Schnitzel Damit wird ausgedrückt, dass Anna ein Lokal, in dem es Schnitzel gibt, am liebsten hat. Die nächstbeste Alternative ist eine Pizzeria, und ein Sushilokal ist nicht gerade ihre favorisierte Option. Die Menge der Kandidaten ist in diesem Fall C = {Schnitzel,Pizza,Sushi}. Eine wichtige Fragestellung ist nun: Gegeben die obigen Präferenzen, für welches Lokal sollen sich die Kollegen entscheiden, wenn sie die Präferenzen aller Teilnehmer berücksichtigen wollen? Oder anders formuliert: Welche Kandidaten aus C sind die Gewinner der obigen Abstimmung? Um zu einem Ergebnis zu kommen, fehlt allerdings noch eine Wahlregel, mit deren Hilfe eine nichtleere Teilmenge der Kandidaten als Gewinner bestimmt werden kann. Eine sehr einfache und verbreitete Wahlregel ist Pluralität. Bei dieser Wahlregel erhält der erstgereihte Kandidat jeder Stimme einen Punkt. Die Kandidaten mit den meisten Punkten sind die Gewinner. Ein offensichtlicher Nachteil dieser Wahlregel ist, dass sehr viel an Information über die Präferenzen der Wähler ignoriert wird: Die Reihung der Kandidaten an zweiter, dritter, usw. Stelle ist für das Ergebnis irrelevant! Eine andere Wahlregel, die Wahlregel von Borda [Bo84], vergibt bei m Kandidaten pro Stimme m−1 Punkte an den erstgereihten Kandidaten, m−2 Punkte an den zweitgereihten usw. Diese Regel berücksichtigt auch die Präferenzen bezüglich der Kandidaten auf den hinteren Positionen. Werden die Präferenzen aus dem obigen Beispiel unter der Pluralitätsregel ausgewertet, erhält ” Schnitzela zwei Punkte, ” Sushia einen Punkt, und ” Pizzaa geht leer aus. Unter der Regel von Borda ergeben sich hingegen vier Punkte für ” Schnitzela, drei Punkte für ” Sushia und zwei Punkte für ” Pizzaa. Bei diesem Beispiel gewinnt also in beiden Fällen das Schnitzellokal. Im Allgemeinen können sich die Gewinner aber abhängig von der verwendeten Wahlregel sehr wohl unterscheiden. Wenn man im obigen Beispiel bei Berta und Christoph jeweils ” Sushia mit ” Pizzaa vertauscht, so ändert dies natürlich nichts am Gewinner bezüglich der Pluralitätsregel. Bei Borda führt dies jedoch zu einem Gleichstand von ” Schnitzela und ” Pizzaa mit jeweils vier Punkten ± es gibt also zwei Gewinner. Dieses Beispiel soll veranschaulichen, dass selbst in einfachen Präferenzmodellen die Fragestellungen recht vielfältig und komplex werden können. Ähnliche Aufgabenstellungen wie bei der Lokalsuche fürs Mittagessen können natürlich auch in gröûeren Maûstäben auftreten: Etwa, wenn auf einem Reiseportal eine Gruppenreise basierend auf den Präferenzen der Teilnehmer geplant werden soll. 1932 Markus Endres und Andreas Pfandler Im Tutorium werden wir verschiedene Wahlregeln betrachten, die mitunter sehr unterschiedliche Eigenschaften aufweisen. Es wird klar, dass bereits die Auswahl der Wahlregel eine wichtige Entscheidung ist, die das Ergebnis und in der Folge auch die Zufriedenheit der Benutzer stark beein ̄ussen kann. Ein Beispiel für eine wünschenswerte Eigenschaft einer Wahlregel ist, dass es niemals für einen Wähler von Nachteil sein sollte, wenn er seine Stimme abgibt. Mit Nachteil ist hier gemeint, dass sich das Ergebnis durch die Teilnahme an der Wahl verschlechtert (gemessen an den Präferenzen des jeweiligen Wählers). Auch wenn man vielleicht intuitiv annehmen würde, dass es immer besser ist seine Stimme abzugeben, werden wir sehen, dass ein solches No-show Paradox tatsächlich auftreten kann. Für eine detaillierte Diskussion der behandelten Wahlregeln, deren Eigenschaften und weiterführende Literatur verweisen wir auf [Ro15, Kapitel 4]. Ebenso wünschenswert wäre es, dassWähler niemals davon pro®tieren können, wenn sie bei der Angabe ihrer Präferenzen unehrlich sind. Obgleich wünschenswert, wurde von Gibbard und Satterthwaite gezeigt, dass strategisches Wählen (Manipulation) in ” realistischena Szenarien nicht ausgeschlossen werden kann. Weitere unerwünschte Beein ̄ussungen sind Bestechung der Wähler (Bribery) und Wahlkontrolle (Control). Bei der Wahlkontrolle versucht ein Vorsitzender durch Strukturänderungen an der Wahl selbst, wie z.B. durch Sperren oder Hinzufügen von Wählern bzw. Kandidaten, das Ergebnis der Wahl (zu seinen Gunsten) zu verändern. Es zeigt sich, dass diese Aspekte unbedingt beim Design eines präferenzbasierten Systems Beachtung ®nden müssen, da böswillige Benutzer sich derartige Schwachstellen sonst zunutze machen können. Bei den sogenannten Domain-Restrictions, mit denen wir uns ebenfalls kurz auseinandersetzen werden, ist die grundlegende Annahme, dass die Präferenzen der Benutzer in der Praxis nicht zufällig sind, sondern eine gewisse Struktur aufweisen. Erfüllt eine Instanz eine bestimmte Domain-Restriction, so können nun nicht mehr alle denkbaren Präferenzen auftreten, sondern nur noch jene, die die Kriterien der Domain-Restriction erfüllen. Dies ist besonders spannend, wenn die Struktur der Instanz zu besseren Eigenschaften der Wahlregeln führt oder von ef®zienten Algorithmen genutzt werden kann. Ein prominentes Beispiel für eine solche Domain-Restriction ist Single-Peakedness [Bl48]. Weitere Informationen zu den bisher angesprochenen Themen (und vielen weiteren) sind in zwei aktuellen Büchern zu ®nden [Ro15, Br16]. In einem weiteren Themenblock werden wir uns mit Präferenzen im Gebiet von Knowledge Representation & Reasoning beschäftigen ± genauer gesagt mit Präferenzen im Zusammenspiel mit Answer Set Programming (ASP). Answer Set Programming (für eine Einführung vgl. [EIK09, Ge12]) ist ein erfolgreicher Ansatz der logischen Programmierung, der sich durch eine gut handhabbare, deklarative Semantik und eine Vielzahl an ef®zienten Solvern auszeichnet (etwa die Solver der Potassco Familie, sowie DLV und WASP). Ein weiterer Vorteil ist, dass ASP Programme als eine ” ausführbare Spezi®kationa gesehen werden können, wodurch man schnell leicht anpassbare und trotzdem brauchbare Prototypen entwickeln kann. In der Folge wird das Zusammenspiel von ASP und Präferenzen aus zwei Perspektiven beleuchtet. Einerseits werden wir Methoden behandeln, die es erlauben, Präferenzen bezüglich Präferenzen und Personalisierung in der Informatik 1933 Abbildung 3: Screenshot der Webober ̄äche von Democratix. der Lösungen eines ASP Programms auszudrücken. Das asprin Framework [Br15] wird hier als Beispiel dienen. Andererseits werden wir das Tool Democratix [CP15] vorstellen, mit dem in ASP deklarativ spezi®zierte Wahlregeln ausgewertet werden können. Abbildung 3 zeigt einen Screenshot der Democratix Web-Applikation, welche auch im Rahmen des Tutoriums vorgeführt wird.

برای دانلود متن کامل این مقاله و بیش از 32 میلیون مقاله دیگر ابتدا ثبت نام کنید

ثبت نام

اگر عضو سایت هستید لطفا وارد حساب کاربری خود شوید

منابع مشابه

Modulempfehlungen über Vorgänger- und Nachfolgemodule

Das moderne Studium stellt die Studierenden vor inhaltliche, organisatorische und technische Herausforderungen. Nicht jeder Studiengang hat einen klaren Ablauf und selbst wenn ein solcher vorhanden ist, ist er oft auf einen Studierenden ausgelegt, der kein Modul wiederholen muss. Außerdem können meist nicht alle Lebensentwürfe und –umstände berücksichtigt werden. In diesem Beitrag wird ein Konz...

متن کامل

Informatik - Allgemeinbildung für die Informationsgesellschaft

Zusammenfassung. Der allgemeine Bildungsauftrag der Schulen verpflichtet diese angesichts des Einflusses moderner IT-Systeme auf unsere Gesellschaft zu einer angemessenen Informatikausbildung für alle Schülerinnen und Schüler. Eine vorwiegend an Phänomenen orientierte Bedienerschulung kann das nicht leisten, daher ist die Einrichtung eines angemessenen Informatikunterrichtes an allen Schulen un...

متن کامل

Einsatz eines Datenstrommanagementsystems zur Empfehlung von beliebten Nachrichtenartikeln in der CLEF NewsREEL Challenge

Im Rahmen der CLEF NewsREEL Challenge haben Teilnehmer die Möglichkeit, Recommender-Systeme im Live-Betrieb für die Empfehlung von Nachrichtenartikeln zu evaluieren und sich mit anderen Teilnehmern zu messen. Dazu werden sie durch Events über Impressions informiert und bekommen Requests, auf die sie mit Empfehlungen antworten müssen. Diese werden anschließend den Benutzern angezeigt. Die Verans...

متن کامل

Vernetzung in der nächsten Dimension

Die Digitale Revolution verändert das Gesicht unserer Welt. Neben einer Vielfalt intelligenter Endgeräte steht uns mit dem Internet ein Netzwerk zur Verfügung, das eine bislang unerreichte Fülle von Informationen und Diensten bietet. Wir befinden uns heute an einem Punkt, an dem die fortschreitende Vernetzung und Medienkonvergenz eine neue Dimension von Anwendungsmöglichkeiten verspricht, die u...

متن کامل

Innovationen live - IT als Treiber für Business Excellence

Als Enabler für Zukunftstechnologien spielen IuK-Technologien eine überragende Rolle im Innovationsprozess. Sie liefern die entscheidenden Werkzeuge, um das Innovationstempo zu erhöhen. Sie bringen neue Funktionen in Produkte, machen sie intelligent, benutzerfreundlich und sicher. In Deutschland hängen über die Hälfte der Industrieproduktion und über 80 Prozent der Exporte vom Einsatz moderner ...

متن کامل

ذخیره در منابع من


  با ذخیره ی این منبع در منابع من، دسترسی به آن را برای استفاده های بعدی آسان تر کنید

برای دانلود متن کامل این مقاله و بیش از 32 میلیون مقاله دیگر ابتدا ثبت نام کنید

ثبت نام

اگر عضو سایت هستید لطفا وارد حساب کاربری خود شوید

عنوان ژورنال:

دوره   شماره 

صفحات  -

تاریخ انتشار 2016